Non sông sạch bóng quân thù. Lúc này vua mới 12 tuổi, Lý Thường Kiệt lại tiếp tục gánh trách nhiệm lớn của triều đình trong công cuộc xây dựng đất nước, chăm lo đời sống nhân dân. Ông đã cho tu bổ đê điều, đường sá, đình chùa hư hỏng trong chiến tranh và tiến hành nhiều biện pháp nhằm cải tổ bộ máy hành chính trong toàn quốc.

Năm 1082, ông thôi chức Thái úy và được cử về trị nhậm trấn Thanh Hóa. Làm việc ở đây suốt 19 năm trời, đến năm 1101 thì vua Lý Nhân Tông lại mời ông trở lại về triều giữ lại chức Nội thị phán thủ đô áp nha hành điện nội ngoại đô tri sự. Lúc này ông đã 82 tuổi. 

Già rồi, nhưng ông vẫn tình nguyện cầm quân đi đánh giặc Lý Giác ở Diễn Châu (năm 1103), dẹp giặc Chiêm Thành quấy nhiễu ở Bố Chính (năm 1104). Ông còn tổ chức lại quân đội, duyệt đổi lại các đơn vị từ cấm binh đến dân quân.

Tháng 6 năm Ất Dậu (1105), Thái úy Lý Thường Kiệt mất, thọ 86 tuổi. Lý Nhân Tông truy phong ông làm Nhập nội điện đô tri Kiểm hiệu Thái úy bình chương Quân quốc trọng sự (入内殿都知檢校太尉平章軍國重事), tước Việt quốc công (越國公), thực ấp 10.000 hộ và cho người em là Lý Thường Hiến được kế phong tước Hầu.